长程 LLM Agent 的多尺度策略优化
🧭 Agent RL · 多尺度信用分配与策略更新 ★ 深度解读
Peking University · IQuest Research · Tsinghua University · Renmin University of China · The University of Hong Kong
提出 MPO，组合 turn 级 GAE 与均值保持的 token 级信用分配，并用 turn 级重要性采样更新策略，在搜索/工具/自动化任务上全面超越 PPO/VAPO/SAO
📌 工作参考价值（4 点）
- 在对话式电商/购物 Agent 的多轮 RL 中，把一次完整的 assistant turn（搜索词、工具调用、加购决策、最终回复）作为宏动作，用 turn 级 GAE 传播终局奖励（下单、成交、任务完成），而不是直接在 token 序列上做 GAE。论文统计显示 turn 间方差占 critic 价值方差的 89.5%，说明 reward 信用主要在轮次尺度，token 级只需做均值保持的局部修正。
- 策略更新时使用 complete-turn importance ratio，并对其他 token 的 ratio 做 stop-gradient，只让当前 token 的 score gradient 保留 token-specific advantage。这个实现可以方便地接入现有 PPO/VAPO 训练框架，避免 token 级 ratio 带来的 within-turn distribution shift，适合 LLM 生成内容较长、但交互边界更重要的电商 Agent 场景。
- 超参上把跨轮衰减 λ 和轮内衰减 λ_intra 分开调，推荐 λ≈0.8、λ_intra≈0.95、β≈1.0。原因是一个 turn 包含大量 token，两者的时间尺度不同；业务里如果直接用相同衰减，要么跨轮信用太短，要么轮内 token 信号稀释。
- 该方法只增加一个 critic 和一个均值约束投影，计算开销低；若你的搜索/推荐 agent 已有 PPO 类训练栈，可以先替换 advantage 计算与 ratio 构造，不必重构环境或 reward。
长程强化学习需要 Muon 优化器
🧭 Agent RL 优化器与训练 recipe ★ 深度解读
Renmin University of China · Duke University · Institute of Automation, Chinese Academy of Sciences · Institute of Computing Technology, Chinese Academy of Sciences
在仓库级 issue 修复的异步 RL 中，Muon 配合单 rollout、TIS 与奖励塑形显著提升训练成功率
📌 工作参考价值（4 点）
- 训练多轮交互 Agent（对话式推荐、商品搜索助手）时，可尝试隐藏权重矩阵换用 Muon，其余 embedding/output head/norm/vector 保持 AdamW；稀疏奖励长轨迹任务中 Muon 的谱范数约束可能带来更稳更新，但需监控 collapse，Adam 与 Muon 差距会受 recipe 影响。
- 线上已有旧策略产生的轨迹时，可复用单 rollout 异步训练 + 截断重要性采样：按 token 计算 π_train_old / π_rollout 比值并截断到 [0,2]，再加权 PPO loss；不必等待同 issue 多条轨迹，适合电商 Agent 环境异步执行时策略滞后场景。
- 对过长回复、无效工具调用加负奖励，但建议将单独或组合 penalty clip 到 [−0.25,0.25] 再加到 advantage 并标准化，避免惩罚过重破坏策略；长度惩罚在最终回合可省略。
- Ablation 显示 length penalty 影响大、tool-error penalty 影响相对较小且不一定稳定；不要盲目堆 penalty，先做单组件实验。
PACT：从信用分配到 Critic 对齐
🧭 LLM 强化学习的信用分配与 Actor-Critic 训练 ★ 深度解读
Peking University · Xiaohongshu
证明 token 级信用唯一等于条件奖励差分，提出 Actor-then-Critic 加重要性采样的 PACT，在数学与编码基准显著超越 PPO/GRPO/SAO
📌 工作参考价值（4 点）
- RL 微调推荐/搜索 Agent 时，用 Actor-then-Critic 顺序并对 critic 目标做 importance sampling 校正：先更新 actor，再用更新后 actor 与旧 rollout 的重要性比修正 critic 的 value target，避免 PPO 中 critic 始终落后一个 policy 版本的问题；适合点击/转化/任务成功等 0-1 或归一化 reward。
- Value/critic 训练用 BCE 替代 MSE：在 reward ∈ [0,1] 条件下两者最优解相同，但 BCE 收敛更快、正负样本 value separation 更大；对稀疏奖励、长轨迹的搜索/推荐 Agent 训练尤其实用，可直接替换现有 critic loss。
- 长 horizon outcome-only reward 场景优先使用 GAE λ=1：论文证明 λ<1 会保留中间 critic 误差，且 token credit 近似稀疏时误差可能主导信号；业务中如果只有最终转化/成交 reward，建议 λ=1 或直接使用 RLOO/GRPO 的 response-level baseline，避免细粒度 critic 噪声。
- 响应级 baseline 与 token 级 credit 在期望梯度上等价：RLOO/GRPO 不必强行改造成 token-level advantage；如无高精度 critic，保持 response-level 信号在期望上是安全的，但若要利用长程结构化信息，应优先提升 critic 对齐度和估计准确性。
单次 rollout 异步优化：让 Agent 强化学习训练更稳更强
🧭 异步强化学习训练稳定化 ★ 深度解读
Tsinghua University · Z.AI
提出单次 rollout 异步 RL 策略 SAO，以 token 级双面裁剪和更快价值更新稳定训练，在智能体推理与编码任务上显著超越 GRPO
📌 工作参考价值（4 点）
- 单次 rollout 替代组采样适用于在线推荐/Agent 场景：线上只能获得单条反馈时，可以用训练好的价值模型做基线，而非依赖组内相对奖励。这直接解决了 GRPO 在实时环境中的部署困难。
- 直接使用 rollout log-probabilities 做重要性采样，简化异步训练架构：不需要维护策略的历史快照链，大幅降低工程复杂度，对推荐模型异步在线学习特别友好。
- 价值模型的冻结注意力训练策略：只在 MoE 层更新，注意力层冻结，能显著稳定 critic 训练并降低梯度范数。这对需要快速收敛的在线价值估计（如 bandit 或 contextual bandit）有参考意义。
- Skip-Observation GAE 处理 agent 轨迹：计算优势时跳过环境反馈 token，将价值估计限定在模型动作上，消除环境噪声。对于涉及工具调用或多轮对话的推荐 agent（如对话式推荐），可借鉴该方式只对模型可控部分进行信用分配。
UP：无界正优势非对称优化破解LLM强化学习的探索—稳定性困境
🧭 强化学习训练优化·无界探索 ★ 深度解读
ByteDance Seed · Michigan State University
通过stop-gradient自锚定比率取代重要性采样，对正向优势释放无界梯度以最大化探索，同时保留负向裁剪加固训练稳定性
📌 工作参考价值（4 点）
- 非对称正负处理：在业务RL训练（如对话策略、推荐排序）中，可对正确/正向动作去除裁剪，使用自锚定梯度释放探索；对错误动作保留裁剪约束，防止模型退化。
- stop-gradient 即插即用：将 π_θ / sg(π_θ) 作为无界更新核心，实现简单，可直接嵌入现有 PPO/GRPO 代码，无需改动 critic 或奖励函数。
- 探索容量监控：通过追踪策略熵和 KL 散度，诊断是否出现探索崩塌，借鉴 UP 的熵上升趋势判断训练是否健康。
- 通用性证明：该方法已验证对 Dense/MoE/多模态模型均有效，推荐系统或 Agent 中更换 backbone 时可放心复用，无需重新设计。
通过动作推断与重要性采样增强MADDPG多智能体学习
🧭 多智能体深度强化学习算法优化
引入动作推断机制与几何分布重要性采样，提升MADDPG在非平稳多智能体环境中的学习稳定性和探索效率
📌 工作参考价值（4 点）
- 在多智能体协同推荐（如召回-粗排-精排多级联动）中，可借鉴动作推断思想，让各级代理预测上下游的决策意图，减少因独立更新导致的策略震荡。
- 面对用户兴趣漂移或策略频繁迭代造成的环境非平稳性，可采用几何分布重要性采样对经验回放加权，优先使用近期交互数据，加快对新分布的适应。
- 若将推荐模块抽象为离散动作的协作代理，本文的离散动作MADDPG变体提供了一个轻量实现起点，工程上易集成到现有Actor-Critic框架。
- 实验表明动作推断对提升智能体间协作效果显著，可用于优化多代理竞价、多目标排序等存在隐性博弈的场景，稳定联合策略。
扩散教师模型期望的方差减少
🧭 扩散模型下游任务梯度方差优化
NVIDIA · University of Toronto · Princeton University
CARV通过分层蒙特卡洛估计摊销昂贵前向计算，以2-3倍有效计算倍乘降低下游梯度方差
📌 工作参考价值（4 点）
- 在推荐系统使用扩散模型做内容生成或特征提取时，可采用廉价噪声重采样摊销昂贵前向计算的模式：将多次去噪步的共享计算提前完成，仅在最终步或采样时重新采样噪声，大幅降低推理/训练成本。
- 当目标函数涉及对时间步的期望时，可借鉴重要性采样+分层逆CDF，根据梯度方差分布动态调整时间步采样概率，在电商多模态模型（如视频生成）中减少约25%的噪声估计方差。
- 构建计算感知的方差核算框架，显式衡量不同随机源的方差贡献与计算开销，辅助决策哪些组件值得投入更多采样预算——这不限于扩散模型，Agent多步推理中的蒙特卡洛估计同样可应用。
- 在单步蒸馏等场景，若梯度方差已非瓶颈，大幅降低方差未必提升下游指标（如FID），提示业务中应优先诊断瓶颈后再投入方差优化资源。